Structuring MoE Expert Selection for Agentic Reinforcement Learning
面向 Agentic 强化学习的 MoE 专家选择结构化
🧭 Agent RL · MoE 专家路由控制 ★ 深度解读
Apple · Purdue University
提出分层路由控制框架，用操作感知互信息与令牌级一致性约束，提升 Agentic RL 成功率与推理吞吐
📌 工作参考价值（3 点）
- MoE 专家选择可以用 agent 轨迹中的 operation 语义（READ/CREATE/UPDATE）做监督，电商搜索/推荐 agent 也可以按意图或工具类别进行专家对齐，提升长程任务成功率和推理速度。
- token 级一致性控制用“相邻 top-k 专家集 Jaccard 距离阈值”选择性回拉，比强制统一更稳定；可搬进多轮 search/agent rollout 中降低专家切换开销、提高吞吐。
- 添加辅助路由 loss 容易引发 RL 训练崩溃，可用 policy entropy 高低门控关闭路由梯度；这个工程 trick 对 MoE 后训练很实用。